Het kasteel van Louvignies zou zijn oorsprong te danken hebben aan een toren die in de 8ste eeuw werd gebouwd, de tour des Sarrasins. Die toren zou het verkeer op de heerbaan van Brunehaut in de gaten hebben gehouden. Op een niet nader te bepalen tijdstip moet er op die donjon een kasteel zijn geënt.
Het kasteel, zoals wij het vandaag kennen, kreeg zijn definitieve uitzicht in 1875, na een verbouwing die acht jaar duurde onder impuls van graaf Léon de Villegas de Saint-Pierre en zijn echtgenote Ferdinande de Maillen naar een ontwerp van architect Désiré Limbourg. Het telt 60 kamers en herbergt een schat aan familieportretten, kunstwerken, meubelen en rariteiten uit de negentiende eeuw. De meeste kamers schetsen een beeld van het leven in de achttiende en negentiende eeuw. De stallen echter refereren aan de 17de eeuw. Het Engelse park vormt samen met het kasteel van Louvignies een typisch 19de eeuws geheel.
Gravin Albertine de Villegas, de laatste afstammeling van het geslacht de Villegas de Saint-Pierre, had geen kinderen, zij adopteerde Jean-Marie de Villagas de Moreau en liet hem bij haar dood in 1971 het kasteel na.